contents

1. 로드 밸런싱이란?

• 로드 밸런싱은 네트워크 또는 애플리케이션 트래픽을 여러 서버에 분산시켜 어느 한 서버에 트래픽이 집중되는 걸 방지하고, 시스템의 고가용성, 안정성, 확장성을 보장하는 기술입니다.
• 현대 웹, 클라우드, 분산 시스템에서 자원 활용 극대화, 병목 제거, 안정적인 사용자 경험 제공에 필수적입니다.

2. 왜 필요한가?

• 서버 과부하 및 단일 장애지점(single point of failure) 예방
• 용량 확장(Capacity), 장애 허용성(Fault Tolerance), 서비스 안정성 향상
• 대규모 트래픽, 클라우드, 마이크로서비스 아키텍처 환경에서 수평 확장 필수

3. 핵심 개념과 구성요소

A. 로드 밸런서

• 클라이언트와 백엔드 서버 사이에 위치하여, 요청을 특정 알고리즘·상태 체크(헬스 체크) 기반으로 분산 처리함
• 다운되었거나 과부하 서버는 제외시키고, 실시간 트래픽 분배/재분배

B. 종류

• 하드웨어 로드 밸런서: 전용 물리 장비(고성능, 낮은 레이턴시, 비쌈, 유연성 낮음)
• 소프트웨어 로드 밸런서: 범용 서버/클라우드에서 동작(오픈소스, 유연, 확장성)
• 클라우드/매니지드 로드 밸런서: AWS ELB, GCP LB, Azure LB 등
• 하이브리드: 온프레미스+클라우드 조합 운영

4. 아키텍처 및 구성 방식

• 액티브-액티브: 모든 서버가 동시 처리를 통해 최대 성능 발휘
• 액티브-패시브: 대기/스탠바이 서버가 장애 발생시 실서버를 대체해 동작
• 클러스터형 로드밸런싱: 서버들을 그룹지어 고가용성과 용량 확장성 확보

5. 알고리즘 및 분산 전략

A. 정적 방법

• 라운드 로빈: 순차적으로 차례대로 서버에 분배(동일 사양 시스템에 적합)
• 가중 라운드 로빈: 높은 사양 서버에 더 많은 요청 할당
• IP 해시: 클라이언트 IP 해시값 기반 서버 지정(세션 일관성 유지)

B. 동적 방법

• 최소 연결(Least Connections): 현재 연결 수가 가장 적은 서버에 분배
• 최소 응답 시간: 서버 응답속도를 고려해 가장 빠른 서버 선정
• 적응/가중치 기반: 서버 상태, 실 부하 등 다수 지표 기반으로 동적으로 분배

6. 세션 관리

• 쿠키 기반 트래킹: 세션정보를 쿠키에 저장해 동일 서버로 연결 유지
• 서버사이드 저장/동기화: 세션 메모리, DB 등 중앙 스토리지 연동
• 세션 스티키(Sticky Session): 사용자별로 특정 서버에 계속 연결 유지

7. 헬스 체크(상태 모니터링)

• 주기적으로 서버에 ping, 자원 사용량, 어플리케이션 헬스 엔드포인트 등을 체크하여, 장애 서버는 자동으로 제외 후 트래픽 재분배
• 모니터링 항목: 응답시간, 에러율, CPU/메모리 사용률 등

8. 구현 단계

• 네트워크 구성: 이중화, 방화벽 정책
• 로드밸런서 배치 및 설정: 라우팅, 보안(SSL, WAF 등) 적용
• 서버풀 등록: 서버의 가중치·우선순위 등 설정
• 모니터링/알림: 로그, 헬스체크 엔드포인트, 대시보드, 임계치 경고 설정

9. 고급 최적화

• SSL/TLS 종료: 암호화 작업을 로드밸런서쪽에서 처리해 백엔드 부하 감소
• DDoS 예방: 속도 제한, 비정상 트래픽 차단
• 컨텐츠 기반 라우팅: URL, 요청 종류에 따라 특화 서버로 분산
• 캐싱/압축: 속도 및 효율성 향상

10. 베스트 프랙티스

11. 정리

• 로드 밸런싱은 현대 대규모 시스템의 안정성, 확장성, 성능 보장 필수요소입니다.
• 적합한 구조(액티브-액티브, 알고리즘, 헬스체크) 선택은 다운타임, 병목, 성능 문제 예방의 핵심입니다.
• 최적화 및 실시간 모니터링이 효과적인 로드밸런싱 운영의 관건입니다.

Java & Spring에서 로드 밸런서를 구현하는 방식을 알아보겠습니다.

1. Spring Cloud LoadBalancer 활용

Spring Cloud LoadBalancer는 마이크로서비스 아키텍처에서 서비스 인스턴스들 간 요청 부하를 자동 분산하는데 널리 쓰이는 라이브러리입니다.

기본 환경 설정

• pom.xml에 의존성 추가:

  <dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-loadbalancer</artifactId>
  </dependency>

• 서비스 디스커버리(Eureka 등)와 연동시, 별도 의존성도 추가(선택):

  <dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-netflix-eureka-client</artifactId>
  </dependency>

기본 설정

• @LoadBalanced WebClient 또는 RestTemplate 빈 생성:

  @Configuration
  public class WebClientConfig {
      @Bean
      @LoadBalanced
      public WebClient.Builder webClientBuilder() {
          return WebClient.builder();
      }
  }

• webClient.get().uri("http://service-name/endpoint") 와 같이 요청하면, 해당 서비스의 여러 인스턴스 중 하나로 분산 요청됩니다(기본은 라운드로빈 방식).

2. 커스텀 라운드로빈 로드밸런서 예시

간단한 라운드로빈 알고리즘 예시입니다:

public class LoadBalancerDemo {
    private final List<String> servers;
    private final AtomicInteger currentIndex;

    public LoadBalancerDemo(List<String> servers) {
        this.servers = servers;
        this.currentIndex = new AtomicInteger(0);
    }

    public String getServer() {
        int index = currentIndex.getAndUpdate(i -> (i + 1) % servers.size());
        return servers.get(index);
    }
}

• getServer() 호출 시 서버리스트의 순번을 돌면서 분배합니다.

3. Spring Cloud용 커스텀 로드밸런서 구현

Spring Cloud LoadBalancer의 ReactorServiceInstanceLoadBalancer를 구현해 나만의 분산 알고리즘을 적용할 수 있습니다:

public class LowLatencyLoadBalancer implements ReactorServiceInstanceLoadBalancer {
    private final ServiceInstanceListSupplier supplier;

    public LowLatencyLoadBalancer(ServiceInstanceListSupplier supplier) {
        this.supplier = supplier;
    }

    @Override
    public Mono<Response<ServiceInstance>> choose(Request request) {
        return supplier.get()
            .next()
            .map(instances -> {
                ServiceInstance chosen = selectInstanceWithLowestLatency(instances);
                return new DefaultResponse(chosen);
            });
    }

    private ServiceInstance selectInstanceWithLowestLatency(List<ServiceInstance> instances) {
        // 실제 레이턴시 기반 선택(여기선 데모)
        return instances.stream().min(Comparator.comparing(this::getLatency)).orElse(instances.get(0));
    }

    private long getLatency(ServiceInstance instance) {
        return (long) (Math.random() * 100); // 데모용 랜덤 값
    }
}

• 이 클래스를 스프링 빈으로 등록하면 이후 RestTemplate/WebClient가 이 알고리즘을 따릅니다.

4. 실무 패턴

• 마이크로서비스 환경에선 서비스 디스커버리(Eureka, Consul 등) 기반으로 동적으로 인스턴스 목록을 받고, 부하 분산을 적용
• 실제 운영환경에선 라운드로빈 외에도 최소 응답 시간, 가중치, 커스텀 헬스체크까지 연동해 쓸 수 있습니다
• 외부(엣지) 트래픽엔 HAProxy, NGINX 등 하드웨어/소프트웨어 로드밸런서와 내부(Spring Cloud) 부하분산을 병행해서 사용

요약
Java & Spring에서는 Spring Cloud LoadBalancer와 서비스 디스커버리 연동으로 로드밸런서를 구성하며, 필요시 커스텀 알고리즘을 직접 구현할 수도 있습니다. 간단한 경우 직접 클래스 내 라운드로빈 구현 가능하며, 실무에선 동적 인스턴스 관리, 보건 체크, 다양한 분산 전략까지 확장하여 안정성과 확장성을 높입니다.

references